의학 저널 JAMA에 실린 논문이 자율적 AI가 의사-AI 협업보다 의학적 추론에서 뛰어날 것이라 전망하며, 규제기관이 '휴먼 인 더 루프'를 의무화하는 것에 반대했다. 저자들은 2024년 이후 연구에서 AI가 단독으로 진단 등 핵심 과제에서 의사와 맞먹거나 더 나은 성과를 보였다며, AI가 명확히 앞설 때 인간 검토자는 오히려 오류 원인이 된다고 주장한다. 다만 저자 중 일부는 AI 원격진료 회사 관계자로 이해충돌 우려가 있고, 대부분의 근거가 시뮬레이션에 기반한 한계가 있다.
AI 코딩 에이전트가 실행을 요청하는 명령어를 인간이 검토하는 '휴먼 인 더 루프(Human-in-the-loop)' 환경의 취약성을 4만 건의 게임 데이터로 분석한 결과입니다. 시간 압박 속에서 검토를 진행한 평균 사용자의 3분의 1 가까이가 데이터 탈취 등 심각한 보안 위협 명령어를 승인하는 것으로 나타났습니다. 특히 친숙한 명령어 뒤에 숨겨진 악성 스크립트를 검토할 때 검출률이 급격히 떨어지며, 시스템 보안의 마지막 방어선인 인간의 검토 과정이 생각보다 취약하다는 것을 시사합니다.
클로드 코드(Claude Code)를 위한 학술 연구 지원 플러그인이 공개되었습니다. 이 도구는 논문 작성을 대신하는 것이 아니라 문헌 검색, 인용 및 데이터 검증 등 단순 반복 작업을 자동화하여 연구자가 핵심적인 연구와 논리 전개에만 집중할 수 있도록 돕습니다. 철저한 휴먼-인-더-루프(Human-in-the-loop) 구조를 채택해 AI가 완전 자동화할 때 발생하는 환각이나 오류를 방지하는 것이 특징입니다.